Mula memikul tanggungjawab sebagai pemimpin masyarakat Melayu di Tawau pada tahun 1936 setelah bapa beliau meninggal dunia dan beliau dilantik sebagai Penghulu atau OKK untuk menggantikan jawatan yang sebelum ini dipegang oleh allahyarham bapa beliau. 5 tahun selepas detik bermulanya peranan dan tanggungjawab yang beliau laksanakan sebagai pemimpin masyarakat , beliau telah diuji dengan cabaran yang agak besar iaitu kedatangan tentera Jepun sebagai penjajah dan pemerintah yang menjalankan pemerintahan kuku besi. Beliau terpaksa memikul tanggungjawab yang berat ini dengan berhati hati demi memelihara menjaga kebajikan dan maruah anak bangsanya. Antara peristiwa menyayat hati semasa beliau menjadi pemimpin masyarakat ialah dengan pembunuhan kejam seorang pemimpin Melayu Islam iaitu allahyarham Habib Hussein oleh tentera Jepun.

Setelah tamatnya zaman peperangan, beliau bersama anak didik beliau iaitu Abu Bakar Titingan dan bersama pemimpin pemimpin lain seperti Kassim Kamidin, Ahmad Ayid dan Zainal Kerahu telah bersama sama menubuhkan Persatuan Kebangsaan Melayu Tawau ( PKMT ) sebagai langkah untuk menyatukan masyarakat Melayu di Tawau ketika itu. Persatuan ini juga adalah sebagai titik permulaan tentang kesedaran betapa pentingnya bangsa Melayu bersatu untuk saling bantu membantu membela nasib mereka sendiri tanpa bantuan orang asing yang lebih mementingkan diri sendiri. Inilah pengajaran yang diperolehi sepanjang pengalaman diperintah dengan kejam oleh tentera Jepun tanpa pembelaan dari Kerajaan Inggeris yang sebelum ini diharapkan sebagai tempat bergantung semata-mata.